IACM-RL: Intent-Aware Context Management and Reinforcement Learning for Complex Tool Invocation under Dynamic Intent Fluctuations
IACM-RL：动态意图波动下基于意图感知上下文管理与强化学习的复杂工具调用
🧭 Agent 上下文管理与强化学习优化 ★ 深度解读
复旦大学 · 荣耀终端有限公司 · 北京大学
提出自生成上下文管理器与分层意图奖励，解决动态意图噪声下工具调用中的状态漂移和无限循环问题
📌 工作参考价值（4 点）
- 状态管理与动作生成解耦：在电商 Agent（如售后、导购）多轮对话中，可将用户需求（商品参数、配送偏好）抽离为显式信念状态块，标记过时字段，避免模型重复使用已修改信息，可直接借鉴 CM 的九块结构设计领域专用状态模板。
- 分层奖励设计：推荐系统 Agent 的 RL 训练可使用类似分层奖励——参数级（如属性正确）、行为级（避免重复推荐）、结果级（推荐链完成度），提供密集、可诊断的信用分配，替换稀疏奖励。
- 辅助损失内部化状态能力：通过 CM 提取损失 L_ext 直接优化状态块生成质量，再用蒸馏损失 L_dist 将状态跟踪蒸馏进模型权重，实现无额外推理开销的隐式状态管理，适合对延迟敏感的线上系统。
- 对抗训练构建干扰数据：用类似 DynamicIntent 的数据增强方法，模拟用户中途插入闲聊、假任务等噪声，训练鲁棒的多轮推荐策略，可提升真实场景下的任务完成率。